Khi hoàn tất, cùng với các tàu khu trục chị em Uranami, Shikinami và Isonami, Ayanami được phân về Hải đội Khu trục 19 thuộc Hạm đội 2 Hải quân Đế quốc Nhật Bản. Trong cuộc Chiến tranh Trung-Nhật, từ năm 1937, Isonami hỗ trợ cho các cuộc đổ bộ lực lượng Nhật Bản lên Thượng Hải và Hàng Châu. Từ năm 1940, nó được phân công tuần tra dọc theo bờ biển và hỗ trợ cho việc đổ bộ lên miền Nam Trung Quốc.

Vào lúc xảy ra cuộc tấn công Trân Châu Cảng, Ayanami được phân về Hải đội Khu trục 19 thuộc Đội khu trục 3 của Hạm đội 1 Hải quân Đế quốc Nhật Bản, và được bố trí từ Quân khu Hải quân Kure đến cảng Samah trên đảo Hải Nam để hỗ trợ cho các chiến dịch đổ bộ lực lượng Nhật Bản lên Malaya. Ngày 19 tháng 12 năm 1941, Ayanami đã đánh chìm tàu ngầm Hà Lan O-20 với sự giúp đỡ của các tàu khu trục chị em Uranami và Yugiri, và đã vớt được 32 người sống sót.[6]

Sau đó Ayanami nằm trong thành phần hộ tống cho các tàu tuần dương hạng nặng Suzuya, Kumano, Mogami và Mikuma để hỗ trợ cho các hoạt động đổ bộ lên Banka-Palembang và quần đảo Anambas. Nó bị hư hại nhẹ sau khi va phải một dãi san hô ngầm tại Anambas, và bị buộc phải quay trở về vịnh Cam Ranh ở Đông Dương thuộc Pháp để sửa chữa khẩn cấp. Đến cuối tháng 2, Ayanami đi đến giúp đỡ cho tàu tuần dương Chōkai, vốn cũng bị mắc cặn ngoài khơi Sài Gòn.

Trong tháng 3, Ayanami tham gia vào lực lượng chiếm đóng phía Bắc Sumatra vào ngày 12 tháng 3 và chiếm đóng quần đảo Andaman vào ngày 23 tháng 3. Nó phục vụ tuần tra và hộ tống vận tải tại khu vực ngoài khơi Port Blair trong khi diễn ra cuộc không kích tại Ấn Độ Dương. Từ ngày 13 đến ngày 22 tháng 4, nó đi ngang qua Singapore và vịnh Cam Ranh quay trở về Xưởng hải quân Kure để bảo trì.[7]

Vào ngày 4-5 tháng 6, Ayanami tham gia trận Midway trong thành phần lực lượng chính của Đô đốc Yamamoto Isoroku. Đến tháng 7 năm 1942, Ayanami lên đường từ Amami-Oshima đến quân khu bảo vệ Mako, Singapore, Sabang và Mergui nhằm chuẩn bị cho một cuộc không kích Ấn Độ Dương thứ hai. Kế hoạch này bị hủy bỏ do việc lực lượng Đồng Minh đổ bộ lên Guadalcanal, và Ayanami được gửi đến Truk, và đến nơi vào cuối tháng 8. Trong trận chiến Đông Solomon vào ngày 24 tháng 8, ‘‘Ayanami’’ hộ tống cho nhóm tiếp tế hạm đội đi đến Guadalcanal, và sau đó nó được sử dụng cho nhiều nhiệm vụ "Tốc hành Tokyo", những chuyến đi vận chuyển tốc độ cao, đến nhiều địa điểm khác nhau trong khu vực quần đảo Solomon trong tháng 10 và tháng 11.[8]

Hoạt động cuối cùng của Ayanami là trong trận Hải chiến Guadalcanal thứ hai vào các ngày 14-15 tháng 11 năm 1942. Tại đây, nó được phân về lực lượng tuần tiễu dưới quyền chỉ huy của Chuẩn Đô đốc Shintarō Hashimoto trên chiếc tàu tuần dương hạng nhẹ Sendai. Khi Lực lượng Đặc nhiệm 64 Hoa Kỳ của Đô đốc Willis A. Lee bị phát hiện gần đảo Savo, Hashimoto đưa các tàu chiến của mình vòng qua hòn đảo theo chiều kim đồng hồ, nhưng gửi một mình Ayanami đi theo hướng ngược lại càn quét tàu bè đối phương. Khi tìm thấy các con tàu của Lee, mệnh lệnh tấn công được đưa ra, và vì vậy Ayanami trở thành một trong ba gọng kìm của cuộc tấn công ban đầu, phối hợp với nhóm của Đô đốc Hashimoto và một nhóm khác do Chuẩn Đô đốc Susumu Kimura chỉ huy trên chiếc tàu tuần dương hạng nhẹ Nagara.

Ayanami thoạt tiên bị tàu khu trục Mỹ USS Walke phát hiện, nhưng Nagara được nhìn thấy không lâu sau đó, nên sự chú ý của bốn tàu khu trục Mỹ chuyển sang chiếc tàu tuần dương. Hỏa lực phối hợp của Ayanami, Nagara và Uranami đã đánh chìm hai trong số bốn tàu khu trục Mỹ: USS Preston và USS Walke, làm bất động USS Benham (vốn bị đánh đắm sau trận đánh), và gây hư hại nặng cho USS Gwin, gây thiệt hại nặng cho lực lượng Mỹ vào giai đoạn mở màn của trận chiến. Ayanami cũng gây ra những thiệt hại nhẹ cho thiết giáp hạm USS South Dakota.

Sau đó thiết giáp hạm USS Washington nhìn thấy Ayanami và bắt đầu nả pháo vào nó. Chiếc tàu khu trục chịu đựng hư hại nghiêm trọng, với 27 thành viên thủy thủ đoàn thiệt mạng. Ba mươi người sống sót, bao gồm thuyền trưởng, Trung tá Sakuma, thoát đi bằng một chiếc bè đến Guadalcanal, và số còn lại được Uranami vớt lên. Sau đó trong đêm, Uranami đánh đắm chiếc Ayanami bị bỏ lại bằng một quả ngư lôi duy nhất, và nó chìm vào khoảng sau 02 giờ 00 xuống đáy biển trong vịnh Đáy Sắt.[9]

Vào ngày 12 tháng 12 năm 1942, Ayanami được rút khỏi danh sách Đăng bạ Hải quân.[5]